别丢线索:让长程 LLM Agent 自主分配认知资源
🧭 Agent 长程上下文管理 · 多 episode RL ★ 深度解读
The Chinese University of Hong Kong · Tencent · The Hong Kong University of Science and Technology
CORAL 用可调用的记忆管理与上下文重置工具,让 Agent 自主 checkpoint 并跨 episode 做 RL,GAIA 上 8B 达 42.8% 且 token 成本少 6-7 倍
📌 工作参考价值(4 点)
- 在电商/搜索的 long-horizon Agent(如导购调研、售后多跳查询、广告素材调研)中,可引入显式 Working Memory 工具:用 MM 维护“任务进度 + 已验证事实”,在上下文过大时触发 CO 清空历史只保留 memory。能显著降低线上 token 成本(本工作输入 token 减少 87.4%),并缓解长会话中模型注意力被旧上下文稀释。
- 训练数据可把 multi-episode 轨迹按上下文重置边界拆成独立对话,后续 episode 的输入 = system prompt + user task + 上一 episode 产出的 memory state;这比平铺拼接更符合推理现场,且天然教会模型“从检查点续跑”。推荐在 SFT 时对 observation tokens 做 loss mask,只学 agent 自己的 thought/action。
- 对于弱/中等开源模型,光靠 prompt 加工具可能无效甚至掉点(Qwen3-8B prompting 仅 20.4% vs ReAct 19.4%);建议走“SFT + 简单 RL”。RL 不需要复杂信用分配:把 trajectory 最终 reward 广播到所有 episode 并池化做 group advantage(Multi-episode ARPO),即可提升 checkpointing 策略并稳定输出方差。
- 工程上注意 Memory 污染:CO 重置会永久丢弃历史中可交叉验证的证据,错误事实一旦写入且被 reset 后不可恢复。推荐 MM 写得保守、CO 只在上下文真正难管理时调用;必要时给 memory 条目保留 provenance/引用,以便后续校验。
递归式经验-工作记忆演化:面向长程 Agent 的验证门控记忆架构
🧭 Agent 长期记忆与递归自改进 ★ 深度解读
NUS · Stanford University · University of Oxford · Princeton University
Recuris 用工作记忆驱动技能调用,将失败定位到记忆组件并验证门控演化,在长程任务上提升成功率
📌 工作参考价值(4 点)
- 长程电商/客服 Agent 的状态管理:把会话目标拆成 pending/done/blocked 的 verified state,每个 goal 带支持证据;只在执行事件(如确认下单、改地址、退款调用前)由 harness 注入对应技能,而不是把全量 SOP 或工具说明放 prompt。全量注入在本实验中反而比无技能更差(模型控制 65.6 vs 无技能 82.0),说明“何时调用”比“内容多少”更关键。
- 失败复盘与技能库更新:记录结构化 trace(状态→调用技能→动作→环境反馈→提案状态→检查器判定),用固定 Meta-Agent 把失败归因到技能缺失、状态更新错、调用时机错、校验器误判四类组件;只修补命中组件,再经 held-out 验证门控。可以迁移到 agent 评测流水线或 SOP 迭代,避免全量重写记忆。
- 验证门控的必要性:候选补丁必须在修复源失败的同时不回归 anchor tasks。电商技能库更新时也建议保留历史成功案例作为回归集,避免新规则破坏已有能力。
- Test-time adaptation:对高价值单任务(如大订单异常、投诉处理)可用多次尝试 + 一位 verifier 的反馈,在局部更新经验记忆后重试;但一定要与 budget-matched 简单重试对照,否则会混淆增益来源。
FocusMem:因子化 GUI Agent 潜在记忆的内容、读出与信任
🧭 Agent记忆因子化与选择性读出
School of Computer Science, Peking University · Key Lab of High Confidence Software Technologies, Peking University · Institute of Information Engineering, Chinese Academy of Sciences · Department of Computer Science and Technology, Tsinghua University
在潜在记忆中因子化内容保留、状态条件读出和信任门控,解决 GUI Agent 记忆压缩损失与无关干扰问题
📌 工作参考价值(4 点)
- 构建对话式推荐 Agent 或任务助手时,可将情景记忆(用户长期偏好)与工作记忆(当前会话状态)分开存储并利用角色感知读出,提升多轮交互一致性。
- 状态条件读出机制可迁移至用户序列建模,根据当前推荐场景动态聚焦历史行为,增强推荐上下文的个性化与相关性。
- 信任门作为轻量过滤器,可集成到 RAG 管道中,抑制检索到的无关商品描述或历史交互,减少噪声,提高推理准确性。
- 记忆模块独立训练、策略模型冻结的架构,是一种低风险、易迭代的工程方案,适合业务中快速实验与部署。
MementoGUI:为长周期 GUI 代理学习主动多模态记忆控制
🧭 GUI 代理 · 主动多模态记忆管理 ★ 深度解读
University of Rochester · MIT-IBM Watson AI Lab · University of Wisconsin-Madison
提出即插即用的主动多模态记忆框架,不微调 GUI 骨干,通过学习写入、压缩、检索视觉工作记忆与情景记忆提升长周期任务表现
📌 工作参考价值(4 点)
- 双时间尺度记忆架构:将记忆解耦为工作记忆(在线保存任务状态)和情景记忆(跨任务经验复用),可参考设计电商 Agent 的长会话状态管理与跨会话知识积累,避免上下文无限膨胀。
- 自动数据管线生成监督信号:从交互轨迹自动构造步骤重要性、摘要、ROI 框和检索需求等训练标签,可迁移到对话或操作型 Agent 的记忆选择标注,降低人工成本。
- 即插即用的记忆注入方式:仅用文本摘要和 ROI 裁剪图像,不引入特殊 token 或架构改动,直接作为冻结 GUI 骨干的输入,便捷增强已有 Agent 的长程决策能力。
- 长周期评估指标:提出基于 VLM 的语义动作匹配、任务进展、记忆一致性评分,可参考用于评估电商场景下多步任务的决策质量和记忆使用合理性。